.ipynb .pdf

repositorio

Binder

Contenido

9. Inferencia en Estadística Paramétrica

• Estimación Puntual: Estimadores de Máxima Verosimilitud

• Distribuciones de estadísticos muestrales

• Intervalos de Confianza

• Test de Hipótesis

9.1. Distribuciones de estadísticos muestrales

• Muestra o muestra aleatoria: Sean \(X_1,\cdots,X_n\) v.a.i.i.d de distribución \(F\), entonces los valores que toman dichas variables \(\{x_1,\cdots,x_n\}\) representan una muestra aleatoria de la distribución \(F\).

• Estadístico: es una variable aleatoria cuyo valor se puede determinar a partir de los datos muestrales:

\[Y = T(X_1,\cdots, X_n)\]

donde T es un operador sobre el espacio muestral \(X_1,\cdots,X_n\) que devuelve una v.a. a valores reales. Es decir

\[y = Y(\omega) = T(X_1(\omega),\cdots,X_n(\omega)) \in {\rm I\!R}\]

Ejemplos: media muestral, varianza muestral.

• Distribución de muestreo: la distribución de probabilidad de un estadístico dado.

9.2. Media muestral

Sean \(X_1,\cdots,X_n\) v.a.i.i.d. de distribución \(F\) entonces se define la media muestral como:

\[\bar{X} = \frac{1}{n}{\displaystyle \sum_{i=1}^n} X_i\]

9.2.1. Propiedades

Sean \(X_1,\cdots,X_n\) v.a.i.i.d. \(\sim F\), \(\mu = E[X_i], \sigma^2 = Var[X_i]\) media y varianza teórica de \(F\). Entonces se cumple: $\( E(\bar{X})= E \left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n} \sum_{i=1}^n E[X_i] = \frac{1}{n} \sum_{i=1}^n \mu = \mu \)$

con lo cual \(\bar{X}\) es un estimador insesgado de \(\mu\).

\[Var(\bar{X})= Var \left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n^2} \sum_{i=1}^n Var[X_i] = \frac{1}{n^2} \sum_{i=1}^n \sigma^2 = \frac{\sigma^2}{n}\]

9.3. Varianza muestral

Sean \(X_1,\cdots,X_n\) v.a.i.i.d de distribución \(F\) entonces se define la varianza muestral como:

\[S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X})^2 \]

La desviación estándar muestral se define como

\[S = \sqrt{ \frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X})^2 }\]

9.3.1. Propiedades

\[ (n-1) S^2 = \sum_{i=1}^n(X_i - \bar{X})^2 = \sum_{i=1}^nX_i^2 - 2\bar{X}\sum_{i=1}^n X_i + n\bar{X}^2 = \sum_{i=1}^nX_i^2 - n\bar{X}^2 \]

Entonces:

\[E(S^2)= E \left[\frac{1}{n-1}\left(\sum_{i=1}^nX_i^2 - n\bar{X}^2\right)\right] = \frac{1}{n-1} \left(\sum_{i=1}^n E[(X_i^2)] - n E[\bar{X})^2]\right)\]

Dado que $\(E[X_i^2] = \sigma^2 + \mu^2\qquad \text{y} \qquad E[\bar{X}^2]= \frac{\sigma^2}{n} + \mu^2\)\( entonces \)\( E(S^2)=\frac{1}{n-1}\left(n\sigma^2+n\mu^2 - n\frac{\sigma^2}{n} - n\mu^2\right) = \frac{n-1}{n-1}\sigma^2 = \sigma^2\)$

De esta manera \(S^2\) es un estimador insesgado de \(\sigma^2\)

9.4. La distribución chi-cuadrado

Sean \(Z_1,\cdots, Z_k\, v.a.i.i.d. \, \sim {\it N}(0,1)\) entonces

\[ Y = Z_1^2+\cdots+Z_k^2 \sim \chi_{(k)}^2\]

donde \(k\) son los grados de libertad de la distribución.

La función de densidad de probabilidad de una chi-cuadrado cumple:

\(\begin{equation} \begin{array}{ll} f(x;k) = \left\{\begin{array}{ll} {\frac{1}{2^{k/2}\Gamma(k/2)}}x^{(k/2)-1}e^{-x/2} & x\, >0\\ 0 & x\, \leq0\\ \end{array} \right .\\ \end{array} \end{equation}\)

con $\(\Gamma(\alpha) = \int_0^{\infty} x^{\alpha-1} e^{-x}dx\)$

Además

\(\begin{equation} E[X]= k \\ Var[X]= 2k \\ \end{equation}\)

library(plotly)

Loading required package: ggplot2

Registered S3 methods overwritten by 'ggplot2':
  method         from 
  [.quosures     rlang
  c.quosures     rlang
  print.quosures rlang

Attaching package: ‘plotly’

The following object is masked from ‘package:ggplot2’:

    last_plot

The following object is masked from ‘package:stats’:

    filter

The following object is masked from ‘package:graphics’:

    layout

vec <- seq(0,20,by=0.05)
params <- c(1,2,3,4,5,6,7,8,9,10)
pvec <- list()
for (i in 1:length(params)){
    pvec[[i]] <- dchisq(vec,df=params[i],ncp=0)
}

steps <- list()
fig <- plot_ly(width=600,height=600) %>% layout(title = "\n \n Densidad de Probabilidad Chi-cuadrado",
                                                 yaxis = list(range=c(0,0.5)))
for (i in 1:length(params)){
    
    fig <- add_lines(fig, x=vec, y=pvec[[i]], 
                     visible=if (i==1) TRUE else FALSE,
                     mode='lines', line=list(color='blue'), showlegend=FALSE)
    steps[[i]] = list(args = list('visible', rep(FALSE, length(params))), 
                      label=params[i], method='restyle')
    steps[[i]]$args[[2]][i] = TRUE
}
fig <- fig %>% layout(sliders = list(list(active=0, 
                                          currentvalue = list(prefix = "df: "),
                                          steps=steps)))
fig
#embed_notebook(fig)

9.4.1. Propiedad de suma de v.a. chi-cuadrado independientes

Sean \(X\) e \( Y\) dos v.a. independientes con \(X \sim \chi^2_{(n)}\) e \(Y \sim \chi^2_{(m)}\) entonces se cumple: \( X+Y \sim \chi^2_{(n+m)}\)

9.5. Distribución de la media y varianza muestral: Caso Normal

9.5.1. Teorema de Fisher-Cochran

Sean \(X_1,\cdots,X_n\) v.a.i.i.d. \({\cal N}(\mu,\sigma^2)\) entonces la media y varianza muestral cumplen:

\(\begin{equation} \begin{array}{lcll} (i) & \bar{X} &\sim& {\cal N}(\mu, \frac{\sigma^2}{n})\\ (ii) & {\displaystyle \frac{(n-1)S^2}{\sigma^2}}& \sim& \chi_{(n-1)}^2 \\ (iii)& \bar{X} &{\mathrel \perp} & S^2\\ \end{array} \end{equation}\)

9.5.2. Ejercicio 2

Demuestre estas propiedades.

Indicaciones:

i) Utilice el Teo Fundamental Distribuciones Normales: la combinación lineal de v.a. independientes Normales es Normal (usa funciones generatrices de momentos)

(ii)y (iii) Se muestra primero para \(Y_i=\frac{X_i-\mu}{\sigma} \sim {\cal N}(0,1)\).

En efecto si se cumple para \(Y_i, i=1,\cdots,n\), se cumple para \(X_i, i=1,\cdots,n\) puesto que:

\[\bar{Y} = \frac{\bar{X} - \mu}{\sigma} \qquad \text{y}\qquad (n-1)S_Y^2 = \frac{(n-1) S_X^2}{\sigma^2}\]

Para ello se considera una transformación ortogonal \(A\) tal que \((Z_1,\cdots,Z_n) = AY^T\) conserva la independencia entre \(Z_i \sim {\cal N}(0,1)\) de manera que \(\bar{Y}\) es función lineal de \(Z_1\) y \(S^2\) de \(Z_2^2,\cdots Z_n^2\).

9.5.3. La distribución t-student

Sean \(Z \sim {\it N}(0,1)\) y \(X \sim \chi^2_{(n)}\), se define la v.a.

\[T = \frac{Z}{\sqrt{\frac{X}{n}}} \sim {\cal t}_{(n)}\]

que sigue una distribución t-student de n grados de libertad

Su función de densidad de probabilidad es: $\( f(x) = f(t) = \frac{\Gamma(\frac{n+1}{2})} {\sqrt{n\pi}\,\Gamma(\frac{n}{2})} \left(1+\frac{t^2}{n} \right)^{\!-\frac{n+1}{2}},\! \)$

y la media y varianza:

\(\begin{equation} \begin{array}{lll} E[X] &= &0\\ Var(X)& =& \dfrac{n}{n-2}\\ \end{array} \end{equation}\)

La varianza esta definida para valores de \(n \gt 2\).

9.5.3.1. Grados de Libertad (df)

Los grados de libertad se refieren al número de valores que pueden variar libremente, dado un conjunto de restricciones matemáticas (o número de parámetros estimados), en una muestra que se utiliza para estimar las características de una población.

Por ejemplo, para estimar la varianza de una población, primero se estidma la media de la población. Por lo tanto, si estimamos la varianza de la población con n observaciones, esta estimación tiene (n-1) grados de libertad. Asi, en un t-test de una muestra, un grado de libertad se utiliza en estimar la media y los n-1 restantes en estimar la variabilidad.

vec <- seq(-5,5,by=0.05)
params <- seq(1,20,by=1)
pvec <- list()
for (i in 1:length(params)){
    pvec[[i]] <- dt(vec,df=params[i])
}

steps <- list()
fig <- plot_ly(width=600,height=600) %>% layout(title = "\n \n Densidad de Probabilidad t-sudent",   yaxis = list(
      range=c(0,0.45)))
for (i in 1:length(params)){
    
    fig <- add_lines(fig, x=vec, y=pvec[[i]], 
                     visible=if (i==1) TRUE else FALSE,
                     mode='lines', line=list(color='red'), showlegend=FALSE)
    steps[[i]] = list(args = list('visible', rep(FALSE, length(params))), 
                      label=params[i], method='restyle')
    steps[[i]]$args[[2]][i] = TRUE
}
fig <- fig %>% layout(sliders = list(list(active=0, 
                                          currentvalue = list(prefix = "df: "),
                                          steps=steps)))
fig
#embed_notebook(fig)

9.5.3.2. Percentiles de t-student

Sea \(t_{\alpha,n}\) tal que \(P(T_{(n)} \geq t_{\alpha,n}) = \alpha\) el percentil \((1-\alpha)\) de \(T_{(n)}\).

y \(t_{\frac{\alpha}{2},n-1}\) tal que \(P(T_{(n-1)} \geq t_{\frac{\alpha}{2},n-1}) = \frac{\alpha}{2}\) el percentil \((1-\frac{\alpha}{2})\) de \(T_{(n-1)}\).

9.5.3.3. Corolario ( del Teo Fisher-Cochran)

Sean \(X_1,\cdots,X_n\) v.a.i.i.d. \({\it N}(\mu,\sigma^2)\) entonces se cumple:

\[ \sqrt{n} \frac{(\bar{X} - \mu)}{S} \sim t_{(n-1)}\]

9.5.4. Teorema del Límite Central

Sean \(X_1,\cdots,X_n\) v.a.i.i.d. según una distribución de probabilidad \(F\) con media \(\mu\) y varianza \(\sigma^2\), entonces las media muestral \(\bar{X}\) cumple: $\( \lim_{n \to \infty}P\left( \frac{\bar{X}- \mu}{\frac{\sigma}{\sqrt{n}}} \leq z\right) = F_Z(z) \qquad Z \sim \cal{N}(0,1)\)$

se dice que

\[ \frac{(\bar{X} - \mu)}{\frac{\sigma}{\sqrt{n}}} \xrightarrow[n\rightarrow{}\infty]{\;\; \cal{D} \;\; } {\cal N}(0,1)\]

Es decir que la media muestral se aproxima a una distribución Normal de media \(\mu\) y varianza \(\frac{\sigma^2}{n}\) cuando \(n\) es grande. \(F\) es cualquier distribución de probabilidad, continua o discreta.

9.5.4.1. Ilustración

Simulando 100 muestras de distintos tamaños (2, 10, 20, 100) de una distribución definida, y elaborando histogramas de las medias muestrales se obtiene lo siguiente:

params <- seq(5,100,by=5)
np <- 
muestra <- matrix(0,nrow=100,ncol=length(params))
for (i in 1:length(params)){
   
    n= params[i]
    size= n*100
    m <- matrix(rbinom(size,5,0.4),nrow=100,ncol=n,byrow=TRUE)
    medias <- m%*%rep(1,n)/n
    
    muestra[,i] <- (medias-2)/sqrt(0.6*0.4)
}

vec <- seq(-4,4,by=0.05)

steps <- list()
fig <- plot_ly(width=600,height=600) %>% layout(title = "\n \n Histograma de medias muestrales, caso binomial",   yaxis = list(
      range=c(0,0.4)), xaxis = list(range=c(-4,4)))

for (i in 1:length(params)){
    
    fig <- add_histogram(fig, muestra[,i],histnorm = "probability",showlegend=FALSE) 
  
    steps[[i]] = list(args = list('visible', rep(FALSE, length(params))), 
                      label=params[i], method='restyle')
    steps[[i]]$args[[2]][i] = TRUE
}
fig <- fig %>% layout(sliders = list(list(active=0, 
                                          currentvalue = list(prefix = "N: "),
                                          steps=steps)))
fig
#embed_notebook(fig)

9.5.4.2. ¿Cómo definir n suficientemente grande?

Depende de la distribución poblacional de los datos muestrales. Si la población es normal, la media muestral de distribuye normal independientemente del tamaño.

Regla consensuada: muestra aleatoria de tamaño muestral \(n \geq 30\).

anterior

8. Bayesian modeling

siguiente

10. Estimación de Intervalos de confianza